![[アップデート] Amazon Redshift Query Editor V2、結果セットと出力サイズの上限を100MBに拡大したので検証しました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-63f1274931b942e9a92e601c1127ad73/cfe87ec6d62fa2fc3c474ed4cb2f6c2e/amazon-redshift)
[アップデート] Amazon Redshift Query Editor V2、結果セットと出力サイズの上限を100MBに拡大したので検証しました
2024.11.23AWS事業本部コンサルティング部の石川です。Amazon Redshift Query Editor V2が、クエリ結果セットの最大サイズと出力サイズを100MBまで拡大しました。フォーマット（CSV、JSON）ごとのファイルサイズの違いなど、不明点があったため、実際に結果セットの境界や、CSVやJSONもダウンロードサイズなどを検証してみました。
Amazon Redshift Query Editor V2の変更点
Amazon Redshift Query Editor V2が、クエリ結果セットの最大サイズと出力サイズを100MBまで拡大しました。この更新により、行数の制限なしで大規模なデータセットを扱えるようになりました。以前の制限である5MBまたは100,000行から大幅に拡張されたことで、ユーザーはより柔軟にデータを扱えるようになります。
-
新しい上限
- 結果セットと出力サイズの上限が100MBに拡大されました。
-
レコード数制限の撤廃
- 以前の100,000行というレコード数の制限がなくなりました。
結果セットと出力サイズの上限を100MBを試す
上限が増えたことがわかりましたが、結果セットのサイズ、出力ファイルサイズ、フォーマット（CSV、JSON）違いによってどうなるかがよくわかりませんので、実際にどれくらいまでダウンロードできるか試してみました。
テストデータ
テストデータは、以下の customer テーブルをRedshiftのテーブルにコピーしたものを用いています。
検証
Query Editor V2でクエリを実行して、実行結果のファイルをダウンロードできる最大レコード数（境界値）を探します。その境界値での動作を確認しました。
エラーにならないレコード数は、1205750レコードです。
エラーになるレコード数は、1205751レコードです。
エラーにならないレコード数で、エクスポートするとCSVファイルは120.7MB、JSONファイルは241.1MBでした。
つまり、クエリの結果セットの制限が100MBでした。エクスポートファイルはクエリの結果セットから生成されるため、それぞれファイルサイズがCSVファイルは120.7MB、JSONファイルは241.1MBと増加します。クエリの結果セットが制限の100MBを超えた場合は、[Export]ボタンを押すことができないためダウンロードできません。
最後に
今となっては、Amazon Redshift Query Editor V2はとても良く使うツールですので、この機会にエクスポート機能の挙動についても検証しました。
システムビューの出力をUNLOADコマンドなどでファイルに出力しようとすると、データ型がサポートされていないためエラーになり、ファイル出力するにはpsqlコマンドを利用するなどの手間がかかります。一方、Amazon Redshift Query Editor V2のエクスポート機能は、表示された文字列がそのままCSVやJSONなどのフォーマットでファイル出力できるため、簡単にダウンロードできます。しかし、これまではレコード数やファイルサイズなどの制限が厳しいため、この長所を活かしきれていませんでした。
Amazon Redshift Query Editor V2の結果セットと出力サイズの拡大は、大規模データを扱うユーザーにとって頼りになる機能強化です。このアップデートによって、より効率的なデータ提供やデータ活用が可能になり、ビッグデータワークロードの管理が改善されることが期待されます。すべてのAWS商用リージョンで利用可能です。
![[プレビュー] Amazon QuickSight 分析間でビジュアルのインポートが可能になりました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-19e77b9a51519e08b94d0f688c125729/4f439c75e1ee56c70e315fa46fa45f81/amazon-quicksight)
